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Prufungsantrag gem. § 44 PatG ist gestellt 

(3) Au&enansichts-Oberwachungsverfahren fur Kraftfahrzeuge 

(§7) Bei dem Beobachtungsuberwachungsverfahren gemaS 
der voriiegenden Erfindung wird das Vorhandensein einer 
Gefahr a us der GroBe eines optischen Flu&vektors dadurch 
beurteilt, da& als der optische Flu&vektor eine Bewegung 
eines einzigen Punktes auf einem Objekt erfa&t wird. 
welches in zwei Bildern aufgenommen wird, wobei ein Bild 
zu einem fruheren Zeitpunkt und das andere Bild zu einem 
spateren Zeitpunkt bei einer Reihe aufgenommener Beob- 
achtungsbilder aufgenommen wird. Ein langes und enges 
Fenster, wetches in einer Radialrtchtung von einem Expan- 
sionsbrennpunkt (FOE) des fruheren Bildes eingestellt wird, 
wird in derselben Richtung auf dem spateren Bild bewegt. 
Ein optischer FluBvektor eines Zielpunkts wird durch einen 
Pf oil festgelegt, welcher den Mtttelpunkt eines Ortes eines 
m Fensters. in welchem die Summe von Absolutwenen der 
Helligkeitsdifferenzen zwischen dem langen und engen 
Fenster und einem Bereich des spateren Bildes, welcher 
dieses lange und enge Fenster uberlappt, minimalisiert wird, 
und einem Mittelpunkt eines Ortes verbindet, an welchem 
das iange und enge Fenster in dem fruheren Bild eingestellt 
ist. Allerdings wird angenommen, daft der Punkt, fur wel- 
chen ein optischer Flufi gefunden werden soli, auf einen 
Punkt begrenzt ist, in welchem die Helligkeitsdifferenz 
zwischen dem fruheren und spateren Bild eine vorbestimmte 
Schwelle uberschreitet, und daB jeglicher EinfluS von Sze- 
nen auGerhalb der StraSe und von Spurunterteilungslinien, 
Zeichen oder Symbolen, die auf ... 
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Beschreibung 

Die Erfindung betrifft ein Oberwachungsverfahren 
filr Beobachtungen in Vorder-, Seiten- oder Ruckrich- 
tung eines Kraftfahrzeuges, wobei das Verfahren einen 5 
Fahrer alarmieren kann, unter Verwendung von Bildern, 
die von einer Videokamera aufgenommen werden, die 
auf dem Vorderteil, Seitenteil oder RQckteil eines Kraft- 
fahrzeugs, wie beispielsweise eines Autos, angebracht 
ist, und ein Kraftfahrzeug oder ein Hindernis vor dem 10 
eigenen Fahrzeug des Fahrers wahrend einer Fahrt er- 
mittelt 

Ein konventionelles Verfahren dieser Art ist in der 
Ver6ffentlichung der japanischen ungepriiften Patent- 
anmeldung Nr. 241855/1990 beschrieben. Das in dieser 15 
Veroffentlichung beschriebene Verfahren umfaBt fol- 
gende Schritte: Aufnahme einer Beobachtung in Vor- 
derrichtung von dem sich bewegenden, eigenen Kraft- 
fahrzeug des Fahrers; Erkennen einer Bewegung eines 
einzigen Punktes in der aufgenommenen Vorderansicht 20 
als optischer FluB zu jedem vorbestimmten Zeitpunkt; 
Sammeln von Information, also der Position eines vor- 
aus fahrenden Kraftfahrzeugs in Bezug auf das eigene 
Kraftfahrzeug des Fahrers und die Relativgeschwindig- 
keit, auf der Grundlage des optischen Flusses, und auf 25 
der Grundlage eines Abstandsensors zum Messen der 
Entfernung zum vorausfahrenden Kraftfahrzeug; und 
Warnen des Fahrers bezuglich einer Gefahr, wenn das 
Vorhandensein einer Gefahr festgestelit wird 

Zur Berechnung des optischen Flusses wurde bislang 30 
ein Verfahren eingesetzt, welches als Anpassungsver- 
fahren bezeichnet wird. Das Anpassungsverfahren stellt 
einen korrespondierenden Punkt in zwei Bildern fest 
Das Anpassungsverfahren umfaBt folgende Schritte: 
Einstellen eines Fensters Wl far einen Zielbildpunkt 35 
(Target-Pixel) P in einem Bild zu einem Zeitpunkt t, wie 
in Fig, 10(a) gezeigt; Berechnen eines Korrelationswer- 
tes, wahrend das Fenster Qber den gesamten Teil des 
Bildes oder einen Nachbarbereich bewegt wird; und 
Auffinden eines korrespondierenden Punktes in einem 40 
Fenster W2, definiert zum Zeitpunkt, an welchem der 
Korrelationswert ein Maximum annimmt, also eines Pi- 
xels Q gemaB Fig. 10(b). Ein Pfeil PQ bezeichnet einen 
optischen FluB. Zur Berechnung des voran stehend er- 
wahnten Korrelationswertes wird die nachstehende 45 
Gleichung verwendet. 

EfWlocy) x W2 (X| y)/(2Wl 2 (x, y ) x 2W2 2 (Xty) l/2 (1) 

hierbei sind Wl(x,y), W2(x,y) die Ausgangswerte der 50 
Koordinaten (x, y) innerhalb der Fenster Wl, W2. 

Zur Beurteilung einer Gefahr erfordert das konven- 
tionelle Verfahren allerdings einen Abstandssensor zum 
Messen der Entfernung zu einem vorausfahrenden 
Kraftfahrzeug, urn die Position des vorausfahrenden 55 
Kraftfahrzeugs in Bezug auf das eigene Kraftfahrzeug 
des Fahrers festzustellen, zusatzlich zur Videokamera 
zur Aufnahme des Bildes in Vorwartsrichtung. 

Zur Berechnung des optischen Flusses muB der Vor- 
gang der Ermittlung des korrespondierenden Punktes in 60 
einem Bild durchgeftihrt werden. Wie voranstehend er- 
lautert, umfaBt ein derartiger Vorgang die Ermittlung 
samtlicher Bildpunkte (Pixel) in dem gesamten Teil oder 
einem Nachbarbereich des Bildes in Bezug auf einen 
einzigen Bildpunkt innerhalb des Bildes, um einen einzi- 65 
gen, korrespondierenden Punkt aufzufinden. Zur Erfas- 
sung des korrespondierenden Punktes iiber den gesam- 
ten Teil des Bildes muB dieser Vorgang fur samtiiche 
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Bildpunkte durchgefuhrt werden. Zusatzlich ist die 
Durchfuhrung einer groBen Anzahl von Berechnungen 
erforderlich, um Korrelationswerte zu finden, die als 
Suchindizes verwendet werden sollen. 

Daher fuhrt der groBe Umfang der Berechnungen 
dazu, daB eine Bearbeitung in Echtzeit unmoglich ist 
Zur DurchfQhrung einer Bearbeitung in Echtzeit ist ein 
Hochgeschwindigkeitsprozessor erforderlich, was die 
Hardwarekosten erhoht Es ist nicht einfach, die Quelle 
eines optischen Flusses zu unterscheiden; also ob der 
optische FluB von dem voraus fahrenden Kraftfahrzeug 
herruhrt oder von Szenen auBerhalb der StraBe, oder 
von Zeichen, Symbolen oder weiBen Linien auf der Stra- 
Benoberflache, oder dergleichen. 

Die Erfindung wurde unter Berucksichtigung der vor- 
anstehenden Umstande entwickelt Daher besteht ein 
Vorteil der Erfindung in der Bereitsteliung eines Ober- 
wachungsverfahrens fur Beobachtungen in Vorwarts- 
richtung, Seitenrichtung oder Rflckrichtung fQr ein 
Kraftfahrzeug, welches automatisch die Gefahrenrate 
bezuglich eines voraus fahrenden Kraftfahrzeugs oder 
anderer Hindernisse in Vorwartsrichtung, Seitenrich- 
tung oder ROckrichtung beurteilen kann, wahrend Bil- 
der in Vorwartsrichtung, Seitenrichtung oder Ruckrich- 
tung verwendet werden, die von einer Videokamera 
uberwacht werden, die am Vorderteil, Seitenteil oder 
Ruckteil des Kraftfahrzeugs angebracht ist, ohne die 
Entfernung zwischen dem voraus fahrenden Kraftfahr- 
zeug und dem eigentlichen Kraftfahrzeug des Fahrers 
zu messen. 

Ein weiterer Vorteil der Erfindung besteht in der Be- 
reitsteliung eines Oberwachungsverfahrens ftir Beob- 
achtungen in Vorderrichtung, Seitenrichtung oder 
Ruckrichtung fQr ein Kraftfahrzeug, welches schnell ei- 
ne Bewegung desselben Punktes in Vorderrichtung, Sei- 
tenrichtung oder ROckrichtung bei einer Bildaufnahme 
durch die Videokamera fur jeden vorbestimmten Zeit- 
punkt als optischen FluB identifizieren kann. 

Zur Erzielung der voranstehenden Vorteile wird ge- 
maB einer ersten Zielrichtung der Erfindung ein Ober- 
wachungsverfahren fttr ein Kraftfahrzeug mit Beobach- 
tungen in Vorderrichtung, Seitenrichtung oder ROck- 
richtung zur VerfQgung gestellt, welches sich durch fol- 
gende Schritte auszeichnet: Aufnehmen einer Beobach- 
tung in Vorderrichtung, Seitenrichtung oder Ruckrich- 
tung von einem sich bewegenden, eigenen Kraftfahr- 
zeug des Fahrers; Ermittlung einer Bewegung eines ein- 
zigen Punktes in zwei Bildern als ein optischer FluB, 
wobei das eine Bild dieser beiden Bilder zu einer vorhe- 
rigen Zeit und das andere Bild dieser beiden Bilder bei 
einem nachfolgenden Zeitpunkt aufgenommen wird; 
und Oberwachen einer Korrelation des eigenen Kraft- 
fahrzeugs des Fahrers bezflglich einem voraus fahren- 
den Kraftfahrzeug oder einem Hindernis auf einer Stra- 
Be. Bei einem derartigen Oberwachungsverfahren fur 
Beobachtungen in Vorderrichtung, Seitenrichtung oder 
Ruckrichtung wird eine Gefahrenrate abhangig von der 
Gr6Be und dem Ort eines Vektors eines optischen Flus- 
ses beurteilt, der von einem Punkt auf dem vorausfah- 
renden Kraftfahrzeug oder dem Hindernis auf der Stra- 
Be abgeleitet wird. 

GemaB einer zweiten Zielrichtung der Erfindung 
wird ein Oberwachungsverfahren fUr Beobachtungen in 
Vorderrichtung, Seitenrichtung oder Ruckrichtung ei- 
nes Kraftfahrzeugs zur VerfQgung gestellt, welches sich 
weiterhin durch folgende Schritte auszeichnet: Einstel- 
len eines langen und engen Fensters in demjenigen Bild 
der beiden Bilder, welches an dem vorherigen Zeitpunkt 
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aufgenommen wurde, wobei sich das lange und enge 
Fenster in einer Radialrichtung relativ zu einem einzel- 
nen Zielpunkt von einem Punkt im Unendlichen ent- 
sprechend einem einzigen Punkt erstreckt, welcher eine 
Vorwartsrichtung des sich bewegenden, eigenen Kraft- 5 
fahrzeugs des Fahrers angibt; Berechnung einer Summe 
von Absolutwerten von Differenzen der Leuchtstarke 
(Luminanz) zwischen dem iangen und engen Fenster des 
Bildes, welches an dem vorherigen Zeitpunkt aufge- 
nommen wurde, und eines Bereiches des anderen Bildes, 10 
welches bei dem nachfolgenden Zeitpunkt aufgenom- 
men wurde, wobei der Bereich des anderen Bildes das 
lange und enge Fenster uberlappt, wahrend das lange 
und enge Fenster in der Radialrichtung von dem Punkt 
im Unendlichen in dem anderen Bild bewegt wird, wel- 15 
ches an dem nachfolgenden Zeitpunkt aufgenommen 
wird; und Definieren eines Pfeils als optischer FluB fiir 
den einzelnen Zielpunkt, wobei der Pfeil einen Mittel- 
punkt eines Ortes eines Fensters, welches zu dem Zeit- 
punkt erhalten wurde, an welchem die Summe minimali- 20 
siert wurde, und einen Mittelpunkt eines Ortes des Ian- 
gen und engen Fensters verbindet, welches in dem Bild 
eingestellt wurde, das an dem vorherigen Zeitpunkt auf- 
genommen wurde. 

GemaB einer dritten Zielrichtung der Erfindung wer- 25 
den bei dem voranstehend erwahnten Oberwachungs- 
verfahren fiir Beobachtungen in Vorderrichtung, Sei- 
tenrichtung oder Ruckrichtung eines Kraftfahrzeuges 
weiterhin folgende Schritte vorgenommen: Berechnung 
von Leuchtdichtedifferenzen der jeweiligen Punkte zwi- 30 
schen den beiden Bildern; und Berechnung optischer 
Flusse nur solcher Punkte, fur welche die Leuchtdichte- 
differenzen eine vorbestimmte Schweile iiberschreiten. 

GemaB einer vierten Zielrichtung der Erfindung wer- 
den bei dem voranstehend erwahnten Oberwachungs- 35 
verfahren fiir Beobachtungen in Vorderrichtung, Sei- 
tenrichtung oder Ruckrichtung fiir ein Kraftfahrzeug 
weiterhin folgende Schritte vorgenommen: Entfernen 
optischer Flusse, die von Szenen abgeleitet werden, die 
auBerhalb der StraBe liegen, von StraBenunterteilungs- 40 
linien, von Zeichen, Symbolen oder dergleichen, die auf 
eine StraBenoberflache aufgemalt sind, bei der Berech- 
nung eines optischen Flusses. 

GemaB einer fiinften Zielrichtung der Erfindung wer- 
den folgende Schritte durchgefiihrt: Voreinstellung von 45 
Bereichen, entsprechend Szenen einer StraBe; und Un- 
terdriicken der Bearbeitung der vorbestimmten Berei- 
che, wenn ein optischer FluB berechnet wird. 

Eine sechste Zielrichtung der Erfindung zeichnet sich 
durch folgende Schritte aus: Berechnung einer Hone 50 
von einer StraBenunterteilungslinie, einem Zeichen, ei- 
nem Symbol oder dergleichen auf einer StraBenoberfla- 
che, von welcher ein optischer FluB zu einer Videoka- 
mera abgeleitet wird, auf der Grundlage optischer FluB- 
daten unter Verwendung der Videokamera zur Aufnah- 55 
me einer Beobachtung in Vorderrichtung, Seitenrich- 
tung oder Ruckrichtung von dem eigenen Fahrzeug des 
Fahrers, welches sich bewegt; und Entfernen eines opti- 
schen Flusses, fiir welchen die Hohe von der StraBen- 
oberflache mit der Hohe der Videokamera zusammen- 60 
fallt. 

Eine siebte Zielrichtung der Erfindung zeichnet sich 
durch folgende Schritte aus: Unterteilung einer vorbe- 
stimmten Flache in mehrere Zonen; Gewichtung einer 
Summe von Langen optischer FIuBvektoren, die in jeder 65 
Zone vorhanden sind, auf einer Zonenbasis; und Beur- 
teilung einer Gefahrenrate auf der Grundlage einer 
GroBe des gewichteten Wertes. 
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Bei einer achten Zielrichtung der Erfindung werden 
folgende Schritte vorgenommen: Einstellen einer vor- 
bestimmten Schweile fiir jede der zugehorigen Zonen; 
und Beurteilung, daB eine Zone gef ahrlich ist, in welcher 
die Summe der Langen der optischen FIuBvektoren die 
vorbestimmte Schweile uberschreitet 

Eine neunte Zielrichtung der Erfindung zeichnet sich 
durch folgende Schritte aus: Beurteilung eines Pegels 
der Gefahrenrate auf der Grundlage von Pegeln jeder 
Schweile, welche die Summe der Langen optischer 
FIuBvektoren iiberschritten hat durch Einstellung meh- 
rerer Pegel fiir die Schweile. 

Eine zehnte Zielrichtung der Erfindung zeichnet sich 
durch folgende Schritte aus: Abgabe eines Alarms ent- 
sprechend der berechneten Gr6Be der Gefahrenrate. 

Beriicksichtigt man die Tatsache, daB der optische 
FluB desto gr6Ber wird, je kleiner die Entfernung zwi- 
schen dem eigenen Fahrzeug des Fahrers und dem vor- 
aus fahrenden Kraftfahrzeug oder Hindernis ist, oder je 
groBer die Relativgeschwindigkeit ist, so ist das erfin- 
dungsgemaBe Verfahren so ausgelegt, daB die Gefahr 
von der GrdBe eines optischen Flusses her beurteilt 
wird, der von einem Punkt auf einem voraus fahrenden 
Kraftfahrzeug oder einem Hindernis auf der StraBe ab- 
geleitet wird. Daher ist es nicht besonders erforderlich, 
ein AbstandsmeBgerat anzubringen, um die Entfernung 
zum vorausfahrenden Kraftfahrzeug zu messen. 

Beriicksichtigt man die Tatsache, daB optische Flusse 
in Radialrichtungen von einem Punkt im Unendlichen 
ausgebildet werden, der einem einzigen Punkt ent- 
spricht, der eine Vorwartsbewegungsrichtung des eige- 
nen Kraftfahrzeuges eines Fahrers anzeigt, so ist das 
Verfahren gemaB der Erfindung so ausgelegt, daB es 
folgende Schritte umfaBt: Einstellen eines langen und 
engen Fensters in demjenigen der beiden Bilder, wel- 
ches an dem vorherigen Zeitpunkt aufgenommen wur- 
de, wobei sich das lange und enge Fenster in einer Ra- 
dialrichtung in Bezug auf einen einzelnen Zielpunkt von 
einem Punkt im Unendlichen aus erstreckt, entspre- 
chend einem einzigen Punkt, der eine Vorwartsbewe- 
gungsrichtung des eigenen Kraftfahrzeugs des Fahrers 
anzeigt, welches sich bewegt; Berechnen einer Summe 
von Absolutwerten von Differenzen der Leuchtdichte 
(Leuchtstarke oder Helligkeit) zwischen dem langen 
und engen Fenster des Bildes, welches an dem vorheri- 
gen Zeitpunkt aufgenommen wurde, und einem Bereich 
des anderen Bildes, welches zu dem nachfolgenden Zeit- 
punkt aufgenommen wurde, wobei der Bereich des an- 
deren Bildes das lange und enge Fenster uberlappt, 
wahrend das lange und enge Fenster in der Radialrich- 
tung von dem Punkt im Unendlichen aus in dem anderen 
Bild bewegt wird, welches an dem nachfolgenden Zeit- 
punkt aufgenommen wird, und Definieren eines Pfeils 
als optischer FluB fiir den einzelnen Zielpunkt, wobei 
der Pfeil einen Mittelpunkt eines Ortes eines Fensters, 
welches erhalten wird, wenn die Summe minimalisiert 
wird, mit einem Mittelpunkt eines Ortes des langen und 
engen Fensters verbindet, welches in dem Bild einge- 
stellt wird, das an dem vorherigen Zeitpunkt aufgenom- 
men wurde. Daher kann der Umfang der Berechnung 
verringert werden, was zur Ausfiihrung einer Hochge- 
schwindigkeitsverarbeitung beitragt. 

Beriicksichtigt man die Tatsache, daB es Orte gibt, 
deren Helligkeit oder Lichtstarke sich zeitlich nicht an- 
dert, beispielsweise der Himmel und eine StraBenober- 
flache, die in einem Bild enthalten sind, so ist das Verfah- 
ren gemaB der Erfindung so ausgelegt, daB es folgende 
Schritte umfaBt: Berechnen von Differenzen der Hellig- 
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keit oder Leuchtstarke der jeweiligen Punkte zwischen 
den beiden BLldern; und Berechnung optischer Flusse 
nur von Punkten, fiir welche die Helligkeitsdifferenzen 
eine vorbestimmte Schwelle tiberschreiten. Daher wird 
die Anzahl der Punkte innerhalb des Bildes, fur welche 5 
optische FlQsse berechnet werden mussen, wesentlich 
verringert, was dazu beitragt, tiberflGssige Bearbei- 
tungsvorg&nge einzusparen, und auf diese Weise zur 
Einfiihrung einer Hochgeschwindigkeitsverarbeitung 
beitragt. 10 

Bei der Berechnung eines optischen Flusses ist das 
erfindungsgemaBe Verfahren so ausgelegt, daB es den 
Schritt der Voreinstellung von Bereichen entsprechend 
Szenen auBerhalb einer Fahrspur umfaBt, in welcher 
sich das Fahrzeug bewegen soil, wobei die vorbestimm- 15 
ten Bereiche nicht bearbeitet werden. Daher laBt sich 
eine Hochgeschwindigkeitsverarbeitung ausf uhren. 

Das Verfahren der Erfindung ist so ausgelegt, daB es 
folgende Schritte umfaBt: Berechnung einer Hdhe von 
einer Spurenunterteilungslinie, einem Zeichen, einem 20 
Symbol oder dergleichen auf einer StraBenoberflache, 
von welcher ein optischer FluB zu einer Videokamera 
abgeleitet wird, auf der Grundlage optischer FluBdaten 
unter Verwendung der Videokamera zur Bildaufnahme 
einer Beobachtung in Vorderrichtung, Seitenrichtung 25 
oder Riickrichtung von dem sich bewegenden, eigenen 
Kraftfahrzeug des Fahrers; und Entfernen eines opti- 
schen Flusses, ftlr welchen die Hdhe von der StraBen- 
oberflache mit einer Hohe der Videokamera zusam- 
menfallt. Daher kann der optische FluB bearbeitet wer- 30 
den, der nur von dem vorausfahrenden Kraftfahrzeug 
oder Hindernis herriihrt, wodurch nicht nur die Erf as- 
sung der Gefahrenrate auf der Grundlage des optischen 
Flusses ermoglicht wird, sondern auch ein Beitrag zu 
einer Hochgeschwindigkeitsverarbeitung geleistet wird. 35 

Das erfindungsgemaBe Verfahren ist so ausgelegt, 
daB es folgende Schritte umfaBt: Unterteilung eines vor- 
bestimmten Bereiches in mehrere Zonen; Gewichtung 
einer Summe von Langen optischer FluBvektoren, die in 
jeder Zone vorhanden sind, auf zonaler Basis; und Beur- 40 
teilung einer Gefahrenrate aus einer GroBe des gewich- 
teten Wertes. Daher laBt sich der spezifische Ort ermit- 
teln, in welchem eine Gefahr vorliegL Weiterhin ist das 
erfindungsgemaBe Verfahren so ausgelegt, daB es fol- 
gende Schritte umfaBt: Einstellen einer vorbestimmten 45 
Schwelle fOr jede der zugehorigen Zonen; und Beurtei- 
len, daB eine Zone gefahrlich ist, in welcher die Summe 
der Langen der optischen FluBvektoren die vorbe- 
stimmte Schwelle iiberschreitet Daher kann die Gefah- 
renrate auf einer Zonenbasis ermittelt werden. Weiter- 50 
hin ist das erfindungsgemaBe Verfahren so ausgelegt, 
daB es folgende Schritte umfaBt: Beurteilung eines Pe- 
gels der Gefahrenrate aus Pegeln jeder Schwelle, wel- 
che die Summe der Langen optischer FluBvektoren " 
Qberschritten haben, durch Einstellung mehrerer Pegel 55 
fOr die Schwelle; und Abgabe eines Alarms entspre- 
chend der berechneten GroBe der Gefahrenrate. 

Die Erfindung wird nachstehend anhand zeichnerisch 
dargestellter AusfQhrungsbeispiele naher erlautert, aus 
welchen weitere Vorteile und Merkmale hervorgehen. eo 
Es zeigt: 

Fig. 1 ein Blockschaltbild einer beispielhaften Vor- 
richtung zur AusfQhrung eines Verfahrens gemaB der 
Erfindung; 

Fig. 2(a) bis 2(b) Diagramme mit einer Darsteilung 65 
einer Beobachtung in Vorwartsrichtung und von Bil- 
dern, die durch eine Videokamera aufgenommen wer- 
den sollen, und erhaltenen optischen Fliissen; 



Fig. 3 ein Diagramm, welches erlautert, wie ein Hin- 
dernis oder dergleichen durch das erfindungsgemaBe 
Verfahren erfaBt wird; 

Fig. 4(a) und 4(b) Diagramme zur ErlaVuterung, wie ein 
optischer FluB durch das erfindungsgemaBe Verfahren 
berechnet wird; 

Fig. 5 ein Diagramm mit einer Darsteilung eines bei- 
spielhaften Bereiches, der so eingestellt ist, daB der opti- 
sche FluB durch das erfindungsgemaBe Verfahren be- 
rechnet werden kann; 

Fig. 6 ein Diagramm zur Eriauterung, wie der opti- 
sche FluB, der von einer Spurunterteilungslinie auf einer 
StraBenoberflache abgeleitet ist, durch das erfindungs- 
gemaBe Verfahren eliminiert wird; 

Fig. 7 ein Diagramm mit einer Darsteilung beispiel- 
hafter Zonen, die so definiert sind, daB die Gefahrenrate 
durch das erfindungsgemaBe Verfahren beurteilt wer- 
den kann; 

Fig. 8 ein Diagramm mit einer Darsteilung einer Rei- 
he von Verarbeitungsschritten, die bei dem erfindungs- 
gemaBen Verfahren vorgesehen sind; 

Fig. 9(a) bis 9(d) Diagramme mit einer Darsteilung 
einer Beobachtung in Vorderrichtung und von Bildern, 
die von einer Videokamera aufgenommen werden sol- 
len, sowie von erhaltenen optischen FlOssen; und 

Fig. 10(a) und 10(b) Diagramme zur Eriauterung von 
Problemen, die bei einem konventionellen Verfahren 
auftreten. 

Fig. 1 zeigt den Aufbau einer Vorrichtung, in welcher 
das erfindungsgemaBe Verfahren verwirklicht ist In 
Fig. 1 bezeichnet die Bezugsziffer 1 eine Videokamera 
zur Aufnahme einer Beobachtung in Vorderrichtung, 2 
bezeichnet eine Arithmetik- und Logikeinheit zur 
Durchfiihrung einer Bildbearbeitung (die nachstehend 
beschrieben wird) durch Empfang eines Bildes, welches 
von der Videokamera 1 erhalten wird; 3 bezeichnet ei- 
nen Tachometer zur Messung der Geschwindigkeit des 
eigenen Fahrzeugs des Fahrers; 4 bezeichnet eine Arith- 
metik- und Logikeinheit zur Ausftihrung einer Gefah- 
renbeurteilungsverarbeitung durch Empfang des Biid- 
bearbeitungsergebnisses, welches von der Arithmetik- 
und Logikeinheit 2 erhalten wird, und der Geschwindig- 
keit des eigenen Kraftfahrzeugs des Fahrers, welche 
von dem Tachometer 3 erhalten wird; und 5 bezeichnet 
eine Alarmvorrichtung. 

Die Fig. 2(a) bis (d) stellen Diagramme zur Eriaute- 
rung einer Anderung eines Bildes in Vorwarts-Beobach- 
tungsrichtung dar, welches von der Videokamera 1 er- 
halten wird. Ein Teil (b) ist ein Bild, welches von der 
Videokamera 1 zu einem Zeitpunkt t in einer Situation 
aufgenommen wird, die im Teil (a) gezeigt ist, ein- 
schlieBlich des eigenen Kraftfahrzeugs des Fahrers; und 
Teil (c) ist ein Bild, welches zu einem Zeitpunkt t + At 
aufgenommen wird. 

Es wird nunmehr angenommen, daB sich das eigene 
Kraftfahrzeug des Fahrers geradeaus auf einer flachen 
StraBe bewegt. Wenn die Videokamera auf ein StraBen- 
verkehrszeichen und ein Gebeuge fokussiert ist, wie in 
Fig. 2(a) gezeigt, dann werden im Verlauf der Zeit die in 
Fig. 2(b) und 2(c) gezeigten Bilder zu einem Zeitpunkt t 
und zu einem Zeitpunkt t + At aufgenommen. Wenn 
entsprechende Punkte in diesen beiden Bildern aufge- 
sucht und verbunden werden, lassen sich Geschwindig- 
keitsvektoren erhalten, die in Fig. 2(d) gezeigt sind. Die- 
se Vektoren stellen das dar, was als "optische Fliisse" 
bezeichnet wird. 

Diese optischen Flusse erscheinen radial von einem 
einzigen Punkt aus, der als ein Expansionsbrennpunkt 
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(FOE) innerhalb eines BUdes bezeichnet wird. Der Be- 
griff FOE bezeichnet auch einen Punkt im Unendlichen 
oder einen verschwindenden Punkt, und entspricht ei- 
nem einzigen Punkt auf dem Bild, wobei der einzige 
Punkt die Vorwartsbewegungsrichtung des eigenen 
Kraftf ahrzeugs des Fahrers angibt, wenn sich das Kraft- 
fahrzeug geradeaus bewegt Daher befinden sich die 
optischen Flusse, die erhalten werden, wenn das eigene 
Kraftfahrzeug des Fahrers fahrt, von dem FOE aus in 
Radialrichtungen. Optische Flusse, die von einem vor- 
ausfahrenden Kraftfahrzeug abgeleitet werden, umfas- 
sen Information wie beispielsweise die Entfernung des 
voraus fahrenden Kraftfahrzeuges zum eigenen Kraft- 
fahrzeug des Fahrers, und die RelativgeschwindigkerL 
Es wird angenommen, daB das AusmaB der Gefahr de- 
sto grfcBer wird, je langer die optischen Flusse sind. 

Einzelheiten des Verfahrens werden unter Bezug auf 
Fig. 3 beschrieben. Nimmt man an, daB bei der opti- 
schen Anordnung von Fig- 3 die Bezugsziffer 11 eine 
Linse der Videokamera bezeichnet; 12 eine Bildebene 
der Videokamera bezeichnet; f eine Entfernung von der 
Linse 11 zu der Bildebene 12 bezeichnet; P (X, Y, Z) eine 
willkurlichen Punkt auf einem voraus fahrenden Kraft- 
fahrzeug oder auf einem Hindernis bezeichnet; und p 
einen Punkt auf der Bildebene 12 entsprechend dem 
Punkt P bezeichnet, dann gilt 

x - f-X/Z (2) 

und zwar aus dem Ahnlichkeitsverhaltnis zwischen 
Dreiecken. 

Wird Gleichung (2) umgeschrieben und nach der Zeit 
diff erenziert, so erhalt man 

X' = ( AX/8t • Z + x • Z')/f (3). 

Da eine Komponente u in der Richtung von x des 
optischen Flusses gegegeben ist durch 

u = Ax/At (4) 

ergibt sich unter Verwendung von Gleichung (4), 
Z - (f -X'-X-Z')Ai (5) 

da Z' gleich einer Relativgeschwindigkeit zwischen dem 
voraus fahrenden Kraftfahrzeug oder dem Hindernis 
und dem eigenen Kraftfahrzeug des Fahrers ist, und 
zwar gleich -a (6) kann die voranstehende Gleichung (5) 
folgendermaBen umgeschrieben werden 

Z - (f-X' + xa)/u (7). 

Daher ergibt sich die Komponente u in der X-Rich- 
tung des optischen Flusses als 

u - (f-X' + xa)/Z (8). 



Das gleiche gilt fur Y. 

Aus der voranstehenden Gleichung (8) sieht man, daB 
die x- Komponente des optischen Flusses desto groBer 
wird, je kieiner Z ist (also je geringer die Entfernung 
zum vorausfahrenden Kraftfahrzeug oder zum Hinder- 
nis ist), oder je groBer a ist (also je groBer die Relativge- 
schwindigkeit in Bezug auf das voraus fahrende Kraft- 
fahrzeug ist). Das gleiche gilt fur die Y-Richtung. 

Daher wird der optische FluB langer bei kleineren 
Entfernungen zum voraus fahrenden Kraftfahrzeug 



oder dergleichen, oder bei groBeren Relativgeschwin- 
digkeiten. Dies fuhrt dazu, daB angenommen wird, daB 
die Gefahrenrate in Bezug auf das voraus fahrende 
Fahrzeug oder auf das Hindernis relativ desto grdBer 
5 wird, je langer der optische FluB ist 

Die Erfindung ist so ausgelegt, daB optische Flusse 
mit hoher Geschwindigkeit berechnet werden, wahrend 
von der Tatsache Gebrauch gemacht wird, daB optische 
Flusse in Radialrichtungen von dem FOE aus aufgefun- 
10 den werden konnen. Nachstehend wird unter Bezug auf 
Fig. 4 ein Verfahren zur Berechnung eines optischen 
Flusses beschrieben. 

Fig. 4(a) und (b) sind Diagramme zur Erlauterung ei- 
nes beispielhaften Verfahrens zur Berechnung eines op- 
ts tischen Flusses mit hoher Geschwindigkeit Zuerst wird 
ein langes und enges Fensters in einer Radialrichtung 
von dem FOE aus eingestellt, in Bezug auf einen einzi- 
gen Punkt, der als Ziel in einem Bild zu einem Zeitpunkt 
t genommen wird (Fig. 4(a)). Dann wird in einem Bild 
20 zum Zeitpunkt t 4- At die Summe von Absolutwerten 
der Differenz der Helligkeit zwischen dem Fenster zum 
Zeitpunkt t und dem Fenster zum Zeitpunkt t + At 
berechnet, wahrend das Fenster zum Zeitpunkt t in der 
Radialrichtung bewegt wird, und zwar punktweise von 
25 dem FOE aus. Eine Fensterbewegungsentfernung zu 
dem Zeitpunkt, an welchem die Summe den Minimal- 
wert annimmt, wird als ein Geschwindigkeitsvektor des 
Zielpunktes berechnet (Fig. 4(b)). Die Helligkeitsdiff e- 
renzen treten zwischen den jeweiligen Bildpunkten auf, 
30 welche das Fenster bilden, also beispielsweise zwischen 
den Bildpunkten, die in den Fig. 4(a) und (b) von Kreisen 
umschlossen sind. Die optischen Flusse des gesamten 
Teils des Bildes kdnnen dadurch erhalten werden, daB 
die voranstehend geschilderte Bearbeitung fur samtli- 
35 che Punkte auf dem Bild zum Zeitpunkt t wiederholt 

wird. . . 

Ein konventioneiles Verfahren verwendet gegenseiti- 
ge Korrelationswerte beim Vergleich der entsprechen- 
den Fenster. lm Gegensatz hierzu kann das erfindungs- 
40 gemaBe Verfahren, welches sich dadurch auszeichnet, 
daB die Summe der Absolutwerte der Differenzen der 
Helligkeit verwendet wird, den Umfang der Berechnung 
verringert, wodurch die Bearbeitungsgeschwindigkeit 
verbessert wird. 
45 In Bezug auf den Geschwindigkeitsvektor zeichnet 
sich die erfindungsgemafle Bearbeitung dadurch aus, 
daB zuerst Differenzen der Helligkeit zwischen einem 
Bild zum Zeitpunkt t und einem Bild zum Zeitpunkt t + 
At berechnet werden, und dann nur Punkte bearbeitet 
so werden, fur welche derartige Differenzen eine vorbe- 
stimmte Schwelle uberschreiten, anstatt die Geschwin- 
digkeitsvektoren fur samtliche Punkte innerhalb des Bil- 
des aufzufinden. 

Im allgemeinen weisen Beobachtungen in Vorder- 
55 richtung, die von einer Videokamera aufgenommen 
werden, wahrend ein Kraftfahrzeug fahrt, in den mei- 
sten Fallen Orte auf, bei denen wenige Anderungen der 
Helligkeit in einem bestimmten Zeitraum auftreten, bei- 
spielsweise den Himmel und eine StraBe. Es ist grund- 
60 satzlich unmoglich, an solchen Orten optische Flusse 
festzustellen. Daher tragt das erfindungsgemaBe Ver- 
fahren dazu bei, uberflussige Bearbeitungsvorgange 
entbehrlich zu machen, und daher Zeit zu sparen, da sich 
das Verfahren namlich dadurch auszeichnet, daB bei der 
65 Bearbeitung Helligkeitsdifferenzen zwischen einem Bild 
zum Zeitpunkt t und einem Bild zum Zeitpunkt t + At 
berucksichtigt werden. 

Durch das voranstehend geschilderte Verfahren las- 
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sen sich schnell optische Fliisse erhalten. Die hier erhal- 
tenen optischen Flusse umfassen solche, die von ande- 
ren Objekten als Hindernisse abgeleitet werden, bei- 
spielsweise von Szenen auBerhalb der StraBe und von 
Spurunterteilungslinien auf der StraBenoberflache. Da- 
her ist es schwierig, das Vorhandensein eines Hindernis- 
ses in Vorwartsrichtung zu bewerten, oder die Gefah- 
renrate, die durch ein derartiges Hindernis hervorgeru- 
fen wird, wenn derartige optische Flusse verwendet 
werden. Daher ist es erforderlich, die optischen Flusse 
zu entfernen, die von den Szenen auBerhalb der StraBe 
und der Spurunterteilungslinien auf der StraBenoberfla- 
che abgeleitet werden. Nachstehend wird ein Verfahren 
zur Durchfiihrung einer derartigen Bearbeitung be- 
schrieben. 

Fig. 5 zeigt ein beispielhaftes Verfahren zum Entfer- 
nen optischer Flfisse, die von Szenen auBerhalb der 
StraBe abgeleitet werden. In Fig. 5 bezeichnet der 
schraffierte Bereich einen Ort auf der StraBe, und es 
wird angenommen, daB an anderen Orten als an diesem 
Ort keine Bearbeitung durchgefiihrt wird. Dies ist ein 
Verfahren zum Isolieren optischer Flusse, die von Sze- 
nen auBerhalb der StraBe abgeleitet sind, seit dem Be- 
ginn der Bearbeitung. Ein derartiges Verfahren mit ei- 
ner Begrenzung des Bereichs, welcher bearbeitet wird, 
dient dem Zweck der Verkurzung der Bearbeitungszeit 

Nachstehend wird unter Bezug auf Fig. 6 ein Verfah- 
ren zum Ausschaiten von Markierungen auf der Stra- 
Benoberflache beschrieben. Fig. 6 zeigt ein beispielhaf- 
tes Verfahren. Zuerst wird die optische Anordnung be- 
schrieben. Fig. 6 ist so dargestellt, daB angenommen 
wird, daB die gesamte StraBenoberflache einem Kraft-, 
fahrzeug entgegenkommt, welches mit einer Videoka- 
mera ausgeriistet ist, statt das ein derartiges Kraftfahr- 
zeug geradeaus fahrt. Die Bezugsziffer 11 bezeichnet 
eine Linse der Videokamera zur Abbildung einer Beob- 
achtung in Vorwartsrichtung; 12 bezeichnet eine Bild- 
ebene der Videokamera; und 13 und 14 bezeichnen Spu- 
renunterteilungs-Linienabschnitte vor und nach einer 
Bewegung des Kraftfahrzeuges. Sowohl dreidimensio- 
nale Koordinaten mit dem Zentrum der Linse als Ur- 
sprung, als auch zweidimensionale Koordinaten mit 
dem voranstehend erwahnten FOE als Ursprung wer- 
den betrachtet 

Falls angenommen wird, daB ein Ort des Spurenun- 
terteilungs-Linienabschnitts vor der Bewegung P (X, Y, 
Z + AZ) ist, und daB dessen Ort nach einer Bewegung 
um AZ in der Z-Richtung gleich groB Q (X, Y, Z) ist, 
dann ergibt sich aus dem Ahnlichkeitsverhaltnis zwi- 
schen zwei Dreiecken die H6he zwischen der Spurun- 
terteilungslinie, von welcher ein optischer FluB abgelei- 
tet wird, und der Videokamera aus der nachstehende 
Gleichung (9). 

Y - y 2 AZ/fAy (9) 

Unter Verwendung der auf diese Weise erhaltenen Hd- 
hendaten k6nnen optische Flusse geloscht werden, die 
von Makierungen oder dergleichen auf der StraBen- 
oberflache abgeleitet sind, deren Hdhen gleich der H6- 
he der Videokamera sind. 

Hierbei ist AZ die Entfernung, um welche sich das 
Kraftfahrzeug wahrend eines Zeitintervalls At zwischen 
den beiden Bildern vorwarts bewegt hat. Diese Daten 
kdnnen berechnet werden, wenn die Geschwindigkeit 
des Kraftfahrzeugs bekannt ist Durch die voranstehend 
beschriebene Verarbeitung konnen die optischen Flusse 
entfernt werden, die von Objekten abgesehen von Hin- 



dernissen in Vorwartsrichtung abgeleitet sind. DaheV 
kann die Gefahrenr ate, welche das AusmaB der Gefahr 
eines Hindernisses in Vorwartsrichtung an gib t, aus den 
Positionen und Langen optischer Flusse berechnet wer- 
5 den, die nach dem Entfernen verblieben sind 

Nachstehend wird ein Verfahren zur Berechnung der 
Gefahrenrate beschrieben. Fig. 7 zeigt ein beispielhaf- 
tes Verfahren. Zuerst wird der Aufbau geschildert Die 
Bezugszeichen I bis IV stellen Zonen dar, die jeweils den 

10 nachsten Teil der Spur des Fahrers anzeigen, deren ent- 
fernten Teil, und den nahen Teil einer benachbarten 
Spur. Die Gefahrenrate wird beurteilt unter Verwen- 
dung des Wertes, der durch Gewichtigung auf Zonenba- 
sis der Summe der Langen optischer Flusse erhalten 

15 wird, die in jeder Zone vorhanden sind. Weiterhin wird 
f ur jede Zone eine vorbestimmte Schwelle festgelegt, so 
daB dann, wenn die Summe der Langen der in einer 
Zone vorhandenen optischen Flusse die Schwelle uber- 
schreitet, eine derartige Zone als gefahrlich beurteilt 

20 wird. Die Gefahr kann durch den Pegel bewertet wer- 
den, wenn mehrere Pegel von Schwellen eingestellt 
werden. 

Im letzten Schritt kann der Fahrer auf das Vorhan- 
densein einer Gefahr durch eine Alarmvorrichtung auf- 

25 merksam gemacht werden, entsprechend der GrdBe der 
ermittelten Gefahrenrate. Die Gefahrenrate kann auf 
einer Anzeigevorrichtung durch die Zone angezeigt 
werden. Abhangig von dem Gefahrenpegel kann der 
Alarmton geandert werden. 

30 Fig. 8 faBt das Verfahren der voranstehend erwahn- 
ten Bildbearbeitung mit dem erfindungsgemaBen Ver- 
fahren zusammen. Im Schritt SI wird ein Bild zum Zeit- 
punkt t gelesen, und im Schritt S2 wird ein Bild zum 
Zeitpunkt t + At gelesen. Dann wird im Schritt S3 ein 

35 FOE eingestellt, und im Schritt S4 ein Bearbeitungsbe- 
reich eingestellt. Daraufhin werden im Schritt S5 Zonen 
herausgezogen, in welchen die Helligkeits- oder Leucht- 
dichtedifferenzen zwischen den Bildern zum Zeitpunkt t 
und zum Zeitpunkt t + At eine vorbestimmte Schwelle 

40 iiberschritten haben. Im Schritt S6 werden in jeder her- 
ausgezogenen Zone optische Flusse berechnet, und im 
Schritt S7 werden optische Fliisse eliminiert, die von 
Objekten abgesehen von Hindernis sen auf der StraBe 
abgeleitet sind. Im Schritt S8 wird die Gefahrenrate 

45 unter Verwendung des auf der Grundlage der Zone 
gewichteten Wertes berechnet. 

Bei der voranstehend geschilderten Ausftihrungsform 
der vorliegenden Erfindung wird ein Beispiel filr das 
Oberwachungsverfahren fur Beobachtungen in Vor- 

50 wartsrichtung fur ein Kraftfahrzeug beschrieben. Aller- 
dings kann die voriiegende Erfindung auch fur ein ent- 
sprechendes Oberwachungsverfahren fur Beobachtun- 
gen in Seitenrichtung oder Ruckwartsrichtung fur 
Kraftfahrzeuge eingesetzt werden, wenn eine Videoka- 

55 mera zur Bildaufnahme einer Beobachtung in Seiten- 
richtung oder Ruckwartsrichtung vorgesehen wird. 
Fig. 9(a) bis (d) sind Diagramme zur Erlauterung einer 
Anderung eines Bildes in Riickwartsbeobachtungsrich- 
tung, welches von der Videokamera 1 erhalten wird. Ein 

60 Teil (b) ist ein Bild, welches von der Videokamera 1 zu 
einem Zeitpunkt t in einer Situation aufgenommen wird, 
die im Teil (a) gezeigt ist, und das eigene Kraftfahrzeug 
des Fahrers einschlieBt, und Teil (c) ist ein Bild, welches 
zu einem Zeitpunkt t + At aufgenommen wird. 

65 Nunmehr wird angenommen, daB das eigene Kraft- 
fahrzeug des Fahrers sich in Geradeausrichtung auf ei- 
ner flachen StraBe vorwartsbewegt Ist die Videokame- 
ra auf ein Verkehrsschild und ein Gebaude fokussiert, 
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wie beispielsweise in Fig. 2(a) gezeigt ist, dann werden 
Bilder wie in Fig. 2(b) und (c) gezeigt zu einem Zeit- 
punkt t und einem Zeitpunkt t + At in Verlauf der Zeit 
aiifgenommen. Wenn korrespondierende Punkte in die- 
sen beiden Bildern aufgesucht und verbunden werden, 5 
konnen solche Geschwindigkeitsvektoren erhalten wer- 
den, wie sie in Fig. 2(d) gezeigt sind. Diese Vektoren 
stellen die sogenannten "optischen Flusse w dar. Wie aus 
Fig. 9(d) hervorgeht, ergibt sich eine Richtung des Ge- 
schwindigkeitsvektors in Gegenrichtung, verglichen mit 10 
der in Fig. 2 gezeigten Ausfuhrungsform, wenn ein hin- 
terherfahrendes Fahrzeug sich nahe am eigenen Kraft- 
fahrzeug des Fahrers befmdet Das ubrige Verfahren 
zur Berechnung der Gefahrenrate verlauft ebenso wie 
bei der vorherigen Ausfuhrungsform, so daB eine ent- 15 
sprechende Beschreibung unterbleiben kann. 

Wie auf den voranstehenden Seiten beschrieben kann 
die Erfindung das Vorliegen eines Hindernisses in Vor- 
wartsrichtung, Seitenrichtung oder Ruckwartsrichtung 
oder die Gefahrenrate automatisch beurteilen, wodurch 20 
ein sicheres Fahren eines Kraf tfahrzeuges sichergestellt 
wird. 

Insbesondere zeichnet sich die Erfindung dadurch 
aus, daB die Gefahrenrate durch die GroBe eines opti- 
schen Flusses beurteilt wird, der von einem Punkt auf 25 
einem voraus fahrenden Kraftfahrzeug oder auf einem 
Hindernis abgeleitet wird. Daher ist eine Videokamera 
zur Abbildung einer Beobachtung in Vorwartsrichtung, 
Seitenrichtung oder Rilckrichtung von einem sich bewe- 
genden, eigenen Kraftfahrzeug des Fahrers vorgesehen, 30 
welches keine AbstandsmeBvorrichtung zum Messen 
der Entfernung zu einem vorausfahrenden Kraftfahr- 
zeug benotigt Dies fuhrt dazu, daB eine kostengiinstige 
Vorrichtung erhalten werden kann. 

Weiterhin tragen die Merkmale, wie beispielsweise 35 
die Verringerung des Berechnungsaufwands, die Aus- 
schaltung unnbtiger Bearbeitung, und die Begrenzung 
der Bearbeitungszonen zur Erhohung der Bearbei- 
tungsgeschwindigkeit bei, wodurch eine Verarbeitung 
in Echtzeit ermoglicht wird 40 

Daruber hinaus lassen sich Vorteile in der Hinsicht 
erzielen, daB bei Kenntnis einer gefahrlichen Zone ein 
geeigneter Alarm abgegeben werden kann, und die Ge- 
fahrenrate angegeben werden kann. 

Die voran stehende Beschreibung bevorzugter Aus- 45 
fiihrungsformen der Erfindung erfolgte zum Zwecke 
der Eriauterung und Beschreibung. Hierdurch soli die 
Erfindung nicht auf die exakte, beschriebene Form er- 
schopft oder begrenzt werden, und es wird darauf hin- 
gewiesen, daB Anderungen und Variationen angesichts 50 
der voranstehend geschilderten Lehre moglich sind, 
oder sich bei der Praktizierung der Erfindung ergeben 
konnen. Die Ausfuhrungsformen wurden zu dem Zweck 
ausgewahlt oder beschrieben, um die Grundlagen der 
Erfindung zu erlautern, sowie deren praktische Umsetz- 55 
barkeit, damit ein Fachmann auf diesem Gebiet die Er- 
findung in unterschiedlichen Ausfuhrungsformen und 
mit verschiedenen Modifikationen einsetzen kann, wie 
sich dies fur einen bestimmten Einsatzzweck als erfor- 
derlich erwesen kann. 60 

Patentanspriiche 

1. AuBenbeobachtungs-Oberwachungsverfahren 
fur ein Kraftfahrzeug, 65 
gekennzeichnet durch folgende Schritte: 
Aufnahme einer AuBenansicht vom eigenen Kraft- 
fahrzeug des Fahrers aus, welches sich bewegt; 
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Erfassung einer Bewegung eines einzelnen Punktes 
in zwei Bildern als ein optischer FluB, wobei eines 
der beiden Bilder zu einem fruheren Zeitpunkt und 
das andere der beiden Bilder zu einem spateren 
Zeitpunkt aufgenommen wird; und 
Oberwachung einer Korrelation des eigenen Kraf t- 
fahrzeugs des Fahrers bezuglich zumindest entwe- 
der einem vorausfahrenden Kraftfahrzeug, einem 
hinterherfahrenden Kraftfahrzeug, oder einem 
Hindernis auf einer StraBe, 

wobei eine Gefahrenrate beurteilt wird in Abhan- 
gigkeit von einer GroBe und einem Ort eines Vek- 
tors eines optischen Flusses, der von einem Punkt 
auf zumindest entweder dem vorausfahrenden 
Kraftfahrzeug, dem hinterherfahrende Kraftfahr- 
zeug oder dem Hindernis auf der StraBe abgeleitet 
wird. 

2. AuBenbeobachtungs-Oberwachungsverfahren 
fur ein Kraftfahrzeug nach Anspruch 1, 
gekennzeichnet durch folgende Schritte: 
Einstellen eines langen und engen Fensters in dem 
Bild unter den beiden Bildern, welches an dem frii- 
heren Zeitpunkt aufgenommen wird, wobei sich 
das lange und enge Fenster in einer Radialrichtung 
relativ zu einem einzelnen Zielpunkt von einem 
Punkt im Unendlichen entsprechend einem einzi- 
gen Punkt erstreckt, der eine Vorw&rtsbewegungs- 
richtung des eigenen Kraftfahrzeugs des Fahrers 
anzeigt, welches sich bewegt; 
Berechnung einer Summe von Absolutwerten von 
Differenzen der Helligkeit zwischen dem langen 
und engen Fenster des Bildes, welches an dem fru- 
heren Zeitpunkt aufgenommen wird, und eines Be- 
reiches des anderen Bildes, welches an dem spate- 
ren Zeitpunkt aufgenommen wird, wobei der Be- 
reich des anderen Bildes das lange und enge Fen- 
ster uberlappt, wahrend das lange und enge Fenster 
in der Radialrichtung von dem Punkt im Unendli- 
chen in dem anderen Bild bewegt wird, welches an 
dem spateren Zeitpunkt aufgenommen wird; und 
Festlegung eines Pfeils als ein optischer FluB fur 
den einzelnen Zielpunkt, wobei der Pfeil einen Mit- 
telpunkt eines Ortes eines Fensters, welches erhal- 
ten wird, wenn die Summe minimalisiert wird, mit 
einem Mittelpunkt eines Ortes des langen und en- 
gen Fensters verbindet, welches in dem Bild einge- 
stellt ist, das an dem fruheren Zeitpunkt aufgenom- 
men wird. 

3. AuBenbeobachtungs-Oberwachungsverfahren 
fur ein Kraftfahrzeug nach Anspruch 1, 
gekennzeichnet durch folgende Schritte: 
Berechnen von Helligkeitsdifferenzen der jeweili- 
gen Punkte zwischen den beiden Bildern; und 
Berechnung optischer Flusse nur von Punkten, fur 
welche die Helligkeitsdifferenzen eine vorbe- 
stimmte Schwelle iiberschreiten. 

4. AuBenbeobachtungs-Oberwachungsverfahren 
filr ein Kraftfahrzeug nach Anspruch 1, 
gekennzeichnet durch folgenden Schritt: 
Entferner optischer Flusse, die von Szenen auBer- 
halb der StraBe abgeleitet sind, von Spuruntertei- 
lungslinien, von Zeichen, Symbolen oder derglei- 
chen, die auf eine StraBenoberflache aufgemalt 
sind, bei der Berechnung eines optischen Flusses. 

5. AuBenbeobachtungs-Oberwachungsyerfahren 
fur ein Kraftfahrzeug nach Anspruch 1, 
gekennzeichnet durch folgende Schritte: 
Voreinstellung von Bereichen entsprechend Sze- 
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nen auBerhalb einer Spur, in welcher gefahren wer- 
den soil; und 

Behandlung nur eines Bereiches abgesehen von 
den voreingestellten Bereichen bei der Berechnung 
eines optischen Flusses. 5 

6. AuBenbeobachtungs-Oberwachungsverfahren 
fdr ein Kraftfahrzeug nach Anspruch 4, 
gekennzeichnet durch folgende Schritte: 
Berechnung einer H6he gegeniiber einer Spurun- 
terteilungslinie, einem Zeichen, einem Symbol oder 10 
dergleichen auf einer StraBenoberflache, von wel- 
cher ein optischer FluB zu einer Videokamera ab- 
geleitet wird, auf der Grundlage optischer FluBda- 
ten unter Verwendung der Videokamera zur Bild- 
aufnahme einer AuBenbeobachtung von dem sich 15 
bewegenden, eigenen Kraftfahrzeugs des Fahrers; 
und 

Entfernen eines optischen Flusses, fur welchen die 
H6he gegentlber der StraBenoberflache mit der 
H6he der Videokamera zusammenfallt 20 

7. AuBenbeobachtungs-Oberwachungsverfahren 
filr ein Kraftfahrzeug nach Anspruch 1, 
gekennzeichnet durch folgende Schritte: 
Unterteilung eines vorbestimmten Bereiches in 
mehrere Zonen; 25 
Gewichtung einer Summe von Langen optischer 
FluBvektoren, die in jeder Zone vorhanden sind, auf 
einer Zonen-Grundlage; und 

Beurteilung einer Gefahrenrate aus einer GrSBe 
des gewichteten Wertes. 30 

8. AuBenbeobachtungs-Oberwachungsverfahren 
ftir ein Kraftfahrzeug nach Anspruch 7, 
gekennzeichnet durch folgende Schritte: 
Einstellung einer vorbestimmten Schwelle fur jede 
der entsprechenden Zonen; und 35 
Beurteilung, daB eine Zone gefahrlich ist, in wel- 
cher die Summe der Langen der optischen FluB- 
vektoren die vorbestimmte Schwelle uberschreitet 

9. AuBenbeobachtungs-Oberwachungsverfahren ; 
far ein Kraftfahrzeug nach Anspruch 7, 40 
gekennzeichnet durch folgenden Schritt: 
Beurteilung eines Pegels der Gefahrenrate aus Pe- 
geln jeder Schwelle, weiche die Summe der Langen 
optischer FluBvektoren uberschritten haben, durch 
Einstellung mehrerer Pegel fur die Schwelle. 45 

1 0. AuBenbeobachtungs-Oberwachungsverfahren 
fOr ein Kraftfahrzeug nach Anspruch 9, 
gekennzeichnet durch folgenden Schritt: 
Abgabe eines Alarms entsprechend der berechne- 
ten GrdBe der Gefahrenrate. 50 



Hierzu 6 Seite(n) Zeichnuhgen 



55 



60 



65 



ZEICHNUNGEN SEITE 1 Nummer: DE 43 32 612 A1 

Int. CI. 5 : B60Q 9/00 

Offenlegungstag: 7. April 1994 



LO 




408 014/469 



2EICHNUNGEN SEITE 2 Nummer: DE 43 32 612 A1 

Int. CI. 6 : B60Q 9/00 - 

Offenlegungstag: 7. April 1994 



FIG. 2(a) 




FIG. 2(b) 



FIG. 2(c) 





FIG. ■ 2(d) 




408 014/469 



ZEICHNUNGEN SEITE 3 Nummer: DE 43 32 612 A1 

Int. CI. 5 : B60Q 9/00 

Offenlegungsteg: 7. April 1994 



FIG. U(a) 







p / 

s » 






FOE 


• 



FIG U(b) 




FIG. 5 




FIG 10(a) 




FIG 10(b) 



ip- 


1 


^^^^^^^ 


/ 


Q 





Wz 



408 014/469 



ZBICHNUNGEN SEfTE 4 



Nummer: 
Int. CI: 5 : 

Off enlegungstag : 



DE 4332 612 A1 
B60Q 9/00 

7. April 1994 



FIG. 6 




FIG. 7 




408 014/469 



0 I 



ZEICHNUNGEN SEfTE 5 



Nummer: 
Int. CI. 5 : 

Often) eg ungstag: 



DE 43 32 612 A1 
B60Q 9/00 

7.AprH1994 



FIG 8 



S1 



S1 



BILDZUR 
tWIRD GELESEN 



I 



S2 



S3 




S4 




i 



S5 




i 



S6 




S8 



i 




S7 




S BILDZ 
t+ delta 
GEL) 


URZEIT 
at WIRD 
ESEN 






S3 EIN FOE WIRD 1 
EINGESTELLT | 


1 


S4 BEARBE 
BEREIC 
EINGE 


SITUNGS- 

JHWIRD 

STELLT 



S5 



ZONEN WERDEN HERAUSGEZOGEN, 
IN WELCHEN DIE HELUGKEUSDIFF. 
ZURZEITtUNDt + detet EINEVOR- 
BESTIMMTE SCHWELLE OBERSCHREITEN 



J 



S6 

IN JEDER HERAUSGE- 

ZOGENEN ZONE 
WERDEN OPT1SCHE 

flOsse BERECHNET 










S7 OPTISCHE FUJSSE WERDEN 
EUMINIERT, DIE VON OBJEKTEN 
AUF DER STRASSE STAMMEN, 
DIE KEIN HINDERNIS SIND 








S8 

GEFAHRENRATE 
BERECHNEN 





408 014/469 



Nummer: 
Int. CI. 5 : 

Offenlegungstag: 



DE 43 32 612 At 
B GO Q 9/00 * 

7. April 1994 



FIG. 9(a) 




9(b) 




FIG. 9(c) 





408014/469 



